从SLS同步

本文介绍如何使用日志投递功能从日志服务(SLS)同步数据到云数据库ClickHouse。

注意事项

  • 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。

  • 云数据库ClickHouse目前不支持数组类型的数据。支持的数据类型,具体请参见数据类型

  • SLS服务为付费服务。计费详情,请参见计费概述

  • 请确保SLS的Project与您的云数据库ClickHouse集群在同一地域。

前提条件

  • 已开通SLS服务。如何开通,请参见开通日志服务

  • 已在云数据库ClickHouse集群所在地域创建SLS的Project和Logstore,并接入了同步数据。如何创建和接入数据,请参见快速入门

  • 如果使用RAM用户投递SLS日志到云数据库ClickHouse,需要阿里云主账号为RAM用户授予AliyunLogReadOnlyAccess权限。如何授权,请参见创建RAM用户及授权

  • 已创建与SLS数据结构和类型对应的云数据库ClickHouse表。如何创建,请参见创建表

操作步骤

  1. 登录云数据库ClickHouse控制台

  2. 在集群列表页面,选择默认实例列表,单击目标集群ID。

  3. 在左侧导航选择日志投递,单击新建SLS日志投递。

  4. SLS数据投递页面,配置各项参数。参数含义如下。

    参数

    说明

    投递名称

    投递任务的名称。

    投递描述

    投递任务的描述。

    SLS名称

    已创建的Project名称。

    SLS日志库

    已创建的Logstore名称。

    集群名称

    云数据库ClickHouse的集群ID。

    数据库名称

    数据库。

    表名

    数据库中的表名。

    账号名称

    数据库账号。

    账号密码

    数据库账号的密码。

    字段映射

    日志字段和云数据库ClickHouse表字段的映射。

    投递开始时间

    日志写入SLS的时间。例如,选择时间为2021-12-31 08:00,即把2021-12-31 08:00之后的日志数据投递到云数据库ClickHouse。

    否过滤脏数据

    是否对脏数据进行过滤。建议打开开关,如果关闭,遇到无法解析的脏数据,会导致投递任务失败。

    说明

    具体的脏数据记录,您可以单击投递任务操作列的监控查看。

  5. 单击确定

  6. 成功配置SLS数据投递后,您可以在日志投递页面查看投递任务。

任务状态从待同步变更为同步中后,即成功开启SLS日志投递。

1640853124192_D05EE700-A6BE-4ab0-9964-B6F73805863A
说明

您可以对投递任务进行监控修改停止删除操作。